#механизмы внимания

Техническое сравнение MoE моделей Qwen3 30B-A3B от Alibaba и GPT-OSS 20B от OpenAI с акцентом на архитектурные особенности и рекомендации по применению.

Исследователи представили Effective State-Size (ESS) — новую метрику для измерения реального использования памяти в последовательных моделях, что улучшает оценку и оптимизацию их работы.